A diffusion model learns to predict a vector field of gradients. We propose to apply chain rule on the learned gradients, and back-propagate the score of a diffusion model through the Jacobian of a differentiable renderer, which we instantiate to be a voxel radiance field. This setup aggregates 2D scores at multiple camera viewpoints into a 3D score, and repurposes a pretrained 2D model for 3D data generation. We identify a technical challenge of distribution mismatch that arises in this application, and propose a novel estimation mechanism to resolve it. We run our algorithm on several off-the-shelf diffusion image generative models, including the recently released Stable Diffusion trained on the large-scale LAION dataset.
translated by 谷歌翻译
数据质量是发展医疗保健中值得信赖的AI的关键因素。大量具有控制混杂因素的策划数据集可以帮助提高下游AI算法的准确性，鲁棒性和隐私性。但是，访问高质量的数据集受数据获取的技术难度的限制，并且严格的道德限制阻碍了医疗保健数据的大规模共享。数据合成算法生成具有与真实临床数据相似的分布的数据，可以作为解决可信度AI的发展过程中缺乏优质数据的潜在解决方案。然而，最新的数据合成算法，尤其是深度学习算法，更多地集中于成像数据，同时忽略了非成像医疗保健数据的综合，包括临床测量，医疗信号和波形以及电子保健记录（EHRS）（EHRS） 。因此，在本文中，我们将回顾合成算法，尤其是对于非成像医学数据，目的是在该领域提供可信赖的AI。本教程风格的审查论文将对包括算法，评估，局限性和未来研究方向在内的各个方面进行全面描述。
translated by 谷歌翻译
我们在这项研究中的目标是研究一个更现实的环境，在这种环境中，我们可以为细粒度的产品类别进行弱监督的多模式实例级产品检索。我们首先贡献了product1m数据集，并定义了两个实际实例级检索任务，以实现价格比较和个性化建议的评估。对于两个实例级任务，如何准确地指出视觉语言数据中提到的产品目标并有效地降低了无关紧要的内容的影响非常具有挑战性。为了解决这个问题，我们利用训练一个更有效的跨模式与模型，该模型能够自适应地能够通过使用一个实体图，其节点和边缘分别表示实体和相似性，从而可以从多模式数据中合并来自多模式数据的关键概念信息。实体。具体而言，为实例级别的商品检索提出了一种新型的实体图增强的跨模式预处理（EGE-CMP）模型，该模型明确地将基于节点的基于节点的基于节点和子图的方式显式地注入实体知识。自我监管的混合流变压器可以减少不同对象内容之间的混淆，从而有效地指导网络专注于具有真实语义的实体。实验结果很好地验证了我们的EGE-CMP的功效和概括性，表现优于几个SOTA跨模式基线，例如夹子，Uniter和Capture。
translated by 谷歌翻译
从理论上讲，通过引入蛋白质3D结构信息，可以改善化合物蛋白结合亲和力（CPA）中计算模型的准确性。但是，由于缺乏有效编码信息蛋白质特征的有效方法，这些模型中的大多数仍然存在低精度。主要的挑战是如何结合多模式信息，例如蛋白质的残基序列，残基原子坐标和扭转角。为了解决这个问题，我们开发了快速的进化关注和彻底的图形神经网络（featnn），以促进蛋白质3D结构信息的应用以预测CPA。具体而言，我们建立了一种新型的端到端结构，以共同嵌入扭转矩阵，离散距离矩阵以及蛋白质和提取具有深图卷积层的复合特征的序列信息。此外，引入了一种新的成对映射注意机制，以全面了解蛋白质和化合物之间的潜在相互作用信息。在CPA预测中，R2系数升高约21.33％，在CPA预测中的各种最新基准都大大优于各种最新基线。因此，壮举为高度准确的CPA预测提供了出色的方法，并促进了候选药物的高通量虚拟筛查。
translated by 谷歌翻译
自主驾驶的当代深度学习对象检测方法通常会假定前缀类别的共同交通参与者，例如行人和汽车。大多数现有的探测器无法检测到罕见的物体和拐角案例（例如，越过街道的狗），这可能会导致某些情况下发生严重的事故，从而使真实世界应用可靠的自动驾驶不确定。阻碍了真正可靠的自动驾驶系统发展的主要原因是缺乏评估对象探测器在角案例上的性能的公共数据集。因此，我们介绍了一个名为CODA的具有挑战性的数据集，该数据集揭示了基于视力的检测器的关键问题。该数据集由1500个精心选择的现实世界驾驶场景组成，每个场景平均包含四个对象级角案例（平均），涵盖30多个对象类别。在CODA上，在大型自动驾驶数据集中训练的标准对象探测器的性能显着下降到3月的12.8％。此外，我们试验了最新的开放世界对象检测器，发现它也无法可靠地识别尾声中的新对象，这表明对自主驾驶的强大感知系统可能远离触及。我们希望我们的CODA数据集有助于对现实世界自动驾驶的可靠检测进行进一步的研究。我们的数据集将在https://coda-dataset.github.io上发布。
translated by 谷歌翻译
2022-02-11
Recent years have witnessed the resurgence of knowledge engineering which is featured by the fast growth of knowledge graphs. However, most of existing knowledge graphs are represented with pure symbols, which hurts the machine's capability to understand the real world. The multi-modalization of knowledge graphs is an inevitable key step towards the realization of human-level machine intelligence. The results of this endeavor are Multi-modal Knowledge Graphs (MMKGs). In this survey on MMKGs constructed by texts and images, we first give definitions of MMKGs, followed with the preliminaries on multi-modal tasks and techniques. We then systematically review the challenges, progresses and opportunities on the construction and application of MMKGs respectively, with detailed analyses of the strength and weakness of different solutions. We finalize this survey with open research problems relevant to MMKGs.
translated by 谷歌翻译
这项工作介绍了一个简单的视觉变压器设计，作为对象本地化和实例分段任务的强大基线。变压器最近在图像分类任务中展示了竞争性能。为了采用对象检测和密集的预测任务，许多作品从卷积网络和高度定制的Vit架构继承了多级设计。在这种设计背后，目标是在计算成本和多尺度全球背景的有效聚合之间进行更好的权衡。然而，现有的作品采用多级架构设计作为黑匣子解决方案，无清楚地了解其真正的益处。在本文中，我们全面研究了三个架构设计选择对vit - 空间减少，加倍的频道和多尺度特征 - 并证明了vanilla vit架构可以在没有手动的多尺度特征的情况下实现这一目标，保持原始的Vit设计哲学。我们进一步完成了缩放规则，以优化模型的准确性和计算成本/型号大小的权衡。通过在整个编码器块中利用恒定的特征分辨率和隐藏大小，我们提出了一种称为通用视觉变压器（UVIT）的简单而紧凑的VIT架构，可实现COCO对象检测和实例分段任务的强劲性能。
translated by 谷歌翻译
视觉语言导航（VLN）任务要求代理商通过自然语言指令的指导到达目标。以前的作品学会在指令后逐步导航。然而，这些作品可能无法歧视跨指令轨迹对的相似性和差异，并忽略子指令的时间连续性。这些问题妨碍了代理人学习独特的视觉和语言表示，损害了导航政策的稳健性和普遍性。在本文中，我们提出了一种对比的指令轨迹学习（Citl）框架，探讨了不同数据样本的不变性，而不同的数据样本和方差以学习强大导航的独特表示。具体而言，我们提出：（1）通过分别对比完整轨迹观测和指示的语义来提高视觉和语言表示来提高视觉和语言。 （2）细粒度对比学学习目的，通过利用子指示的时间信息来感知指示; （3）对矿井硬样品对比学学习的成对采样重量机制，从而减轻了数据采样偏差在对比学习中的影响。我们的Citl可以轻松地与VLN骨干网集成，形成新的学习范例，并在看不见的环境中实现更好的普遍性。广泛的实验表明，Citl的模型超越了R2R，R4R和RXR上以前的最先进的方法。
translated by 谷歌翻译
图级表示在各种现实世界中至关重要，例如预测分子的特性。但是实际上，精确的图表注释通常非常昂贵且耗时。为了解决这个问题，图形对比学习构造实例歧视任务，将正面对（同一图的增强对）汇总在一起，并将负面对（不同图的增强对）推开，以进行无监督的表示。但是，由于为了查询，其负面因素是从所有图中均匀抽样的，因此现有方法遭受关键采样偏置问题的损失，即，否定物可能与查询具有相同的语义结构，从而导致性能降解。为了减轻这种采样偏见问题，在本文中，我们提出了一种典型的图形对比度学习（PGCL）方法。具体而言，PGCL通过将语义相似的图形群群归为同一组的群集数据的基础语义结构，并同时鼓励聚类的一致性，以实现同一图的不同增强。然后给出查询，它通过从与查询群集不同的群集中绘制图形进行负采样，从而确保查询及其阴性样本之间的语义差异。此外，对于查询，PGCL根据其原型（集群质心）和查询原型之间的距离进一步重新重新重新重新重新享受其负样本，从而使那些具有中等原型距离的负面因素具有相对较大的重量。事实证明，这种重新加权策略比统一抽样更有效。各种图基准的实验结果证明了我们的PGCL比最新方法的优势。代码可在https://github.com/ha-lins/pgcl上公开获取。
translated by 谷歌翻译
文档级别的情感分析（DSA）由于含糊的语义链接并使情感信息复杂化，因此更具挑战性。最近的工作专门用于利用文本摘要，并取得了令人鼓舞的结果。但是，这些基于摘要的方法没有充分利用摘要，包括忽略摘要和文档之间的固有交互。结果，他们将代表限制在文档中表达主要点，这高度表明了关键情绪。在本文中，我们研究了如何有效地产生具有明确的主题模式和情感环境的歧视性表示。提出了一个分层互动网络（HIN），以探索多个粒度的摘要和文档之间的双向交互，并学习以主题为导向的文档表示情感分类。此外，我们通过使用情感标签信息来完善HIN来学习基于情感的重新思考机制（SR），以学习更感知的文档表示。我们在三个公共数据集上广泛评估了我们提出的模型。实验结果始终证明了我们提出的模型的有效性，并表明HIN-SR优于各种最新方法。
translated by 谷歌翻译